Latar tempat Silent Hill merupakan sebuah bandar peranginan yang kelihatan terbiar dan terbengkalai, diluputi kabut dan kabus sepanjang masa. Makhluk yang mempunyai pelbagai bentuk dan rupa yang cacat merayau-rayau disekitar jalan raya dan bangunan. Mereka selalunya menyerupai lembaga, makhluk atau apa-apa sahaja yang menjadi sebab ketakutan seseorang yang melihat mereka. Bandar tersebut seringkali berubah di antara realiti biasa kepada sebuah "Dunia Sempadan" (Otherworld) yang penuh dengan darah dan persekitaran berkarat, di mana makhluk-makhluk tersebut muncul lebih kerap lagi. Dalam judul Silent Hill yang pertama, rupa dan penduduk "Dunia Sempadan" Silent Hill muncul hasil daripada minda Alessa Gillespie yang mengalami trauma.[2]

Namun sejak itu, judul-judul seterusnya telah menunjukkan Dunia Sempadan berperanan secara bebas, mencipta makhluk-makhluk yang berupa unik kepada mangsa yang melihat mereka.

Komen-komen yang diberikan oleh pihak Konami telah mengatakan bahawa semangat di pekan Silent Hill telah "ditingkatkan dengan mendadak" sejak kejadian judul pertama permainan video ini.[3] Meskipun dalam judul-judul pertama dan kedua siri Silent Hill para protagonis yang telah "ditarik" ke dalam pekannya dengan sendiri, judul ketiga dan keempat telah mencetuskan teori bahawa Dunia Sempadan di Silent Hill telah sampai ke pekan-pekan berdekatan.

Dari segi geografi, Silent Hill terletak disekitar kawasan Toluca Lake atau Tasik Toluca, (di mana terdapatnya kawasan peranginan), manakala kawasan-kawasan yang lebih lama terletak di bahagian utara di sepanjang sungai tersebut. Disebabkan pembangunan komersial berat, pekan itu dikatakan agak mencukupi; terdapat sebuah sekolah rendah, sebuah pusat membeli-belah, dua buah hospital yang berbeza (Hospital Alchemilla di Paleville dan Hospital Brrokhaven di South Vale), kedai-kedai runcit dan sebagainya. "Old Silent Hill" (Silent Hill Lama) dan "Pale Ville" merupakan kawasan-kawasan pinggir bandar, terdiri daripada pembangunan pangsapuri dan perumahan, serta beberapa motel dan juga satu-satunya hotel di pekan tersebut iaitu Hotel Grand Lakeview. Kawasan menghadap pantai Paleville juga mempunyai sebuah rumah api dan merupakan tuan rumah kepada Lakeside Amusement Park, sebuah kawasan taman hiburan.

Lokasi sebenar pekan Silent Hill ini agak mengelirukan dan kurang tepat. Manual daripada judul asal siri ini mengatakan bahawa Silent Hill terletak berhampiran New England. Ketiga-tiga kelompok air besar di sekeliling pekan ini didedahkan sebagai Toluca Lake, namun satu-satunya Toluca Lake yang sebenar terletak di California. Plat lesen kereta dalam permainan video pertamanya menunjukkan kedudukannya di Michigan, namun nota-nota dalam versi Jepun CD soundtrack Silent Hill 4: The Room memberikan alamat sebenar Heaven's Night, sebuah kelab malam yang dapat dikunjungi para pemain dalam Silent Hill 2, yang beralamat di Maine. Dalam laman web rasmi Konami, bahagian "peta"nya tercetak sebuah simbol tradisional Perancis, iaitu fleur-de-lis. Adaptasi filem siri ini meletakkan kedudukan pekannya di sebuah daerah rekaan iaitu di Toluca County, West Virginia.

Penulis skrin filem tersebut, iaitu Roger Avary menggunakan sebuah pekan sebenar di Centralia, Pennsylvania sebagai inspirasi untuk pekan Silent Hill.[4] Pada tahun 1962, sebuah kebakaran besar di sebuah kawasan pembuangan telah merebak ke kawasan lombong arang batu di bawah Centralia. Sejak itu, kebakarannya berterusan sehingga ramai penduduknya dipaksa meninggalkan pekan selama-lamanya.